携帯端末の仮想キーボード

专利摘要:
本発明は、例えばセル式携帯電話などの携帯端末の表示部において仮想キーボードを示すための方法に関し、該携帯端末は、画像データをキャプチャーするためのカメラ、該画像データを示すための表示部、及びメニュー機能の選択又は例えばテキストメッセージの入力のためのキーボードを含む。本発明は、キーボードが携帯端末の表示部上の仮想キーボードとして設計され、該仮想キーボード上に示されるカーソルは、可動式に設計されることを特徴とし、カーソルは、該携帯端末の動作に従って、空間軸において、仮想キーボードの対応するキーボード・フィールドに動く。
公开号:JP2011507058A
申请号:JP2010536362
申请日:2008-11-27
公开日:2011-03-03
发明作者:モサコヴスキ，ゲルト
申请人:ティー−モバイル インターナツィオナール アーゲー；
IPC主号:G06F3-023

专利说明:

[0001] 本発明は、可動式キーボード又は可動式カーソルを、特許請求項１の特徴部分に従って、携帯端末の表示部に示す方法に関する。]
背景技術

[0002] 「セル式携帯電話」などの携帯端末は、最近、カメラ及びビデオ機能などの、ますます多くの機能を提示し、オペレータ側の「セル式携帯電話」の寸法は可能な限り縮小される。この理由により、携帯端末の寸法は、ますます縮小している。]
[0003] しかし、この場合、操作性の問題が生じ、特に、例えばキーボード上のSMS（ショートメッセージサービス）などに対するテキスト入力の場合、ますます縮小するということである。]
[0004] 現在、テキストに対し、多数の異なった入力オプションがあり、以下に分類される：
‐例えばMDA（Monochrome Display Adapter）などの全値のミニ・キーボードを通したテキストの入力がある。この入力機能は、キーが小さすぎるという不利点を有し、テキストの不正確な入力に至る。]
[0005] ‐例えばセル式携帯電話の場合など、ナンバー・キーの多重の配分によるテンキーを通したテキストの入力がある。この入力機能は、不正確な入力及び比較的長い時間の消費の不利点を示す。]
[0006] ‐タッチ・スクリーンの手段による操作の場合、キーボードが表示部に示される。例えば、小さいタッチペンが操作に使用され、この入力機能は、キーボード・フィールドの提示が比較的高い必要メモリーを示すという不利点を持つ。]
[0007] ‐OCR認識を示すタッチ・スクリーンの操作がある。この入力機能は、同様に、キーボード・フィールドの提示に対して比較的高い必要メモリーを示す。]
[0008] テキストの入力に対する現在の携帯端末のメニュー・ナビゲーションは、例えば、スクロール・ホイール又は多重機能ボタンを用いて選択されたテキスト又はアイコンに、ある程度は基づいている。そのプロセスにおいて、ルールとしての多重ボタンが、メニュー・カーソルを左、右、上又は下へ動かす選択の可能性を提供し、その多重機能ボタンを押すことによってその選択を確認する。使用されるメカニズムのため中間領域は提供されない。]
[0009] さらに、異なるアプリケーションが、拡張現実の分野においても知られている。]
[0010] この例として、例えば、画像の中央配置のための照準点を用いる写真画像の重ね合わせが指摘される。]
[0011] また、知られているのは、この技術に基づくゲームであり、この場合、ゲーマーは、カメラで撮影され、ゲーマーの動作は、例えばゴルフ・シミュレータの例のように仮想世界に組み入れられる。]
[0012] この上記のアプリケーションの基本的な不利点は、画像データの保存に対する大きな必要メモリーである。]
先行技術

[0013] 独国特許出願公開第10,113,880号明細書
米国特許第4,649,927号明細書]
発明が解決しようとする課題

[0014] 本発明の目的は、従って、テキストの入力が、携帯端末の寸法とは別に構成されたサイズのキーボード・フィールドを通して実行されるように、携帯端末を改善することに見られる。]
課題を解決するための手段

[0015] そのタスクの解決のために、本発明は、独立特許請求項１の特徴によって特徴付けられる。]
[0016] 本発明に必須であるのは、該方法が、キーボードを仮想キーボードとして携帯端末の表示部に示し、その仮想キーボードを通して可動であるカーソルを構成し、該カーソルは、その仮想キーボードのキーボード・フィールドに対応する空間軸において実行される携帯端末の動作に対応してそれに類似して動作することである。]
[0017] 本発明の本質的な実施形態の逆の示唆において、仮想キーボードは、携帯端末の表示部において、携帯端末の実行される動作に対応して動作し、その表示部に対応する空間軸において動作する可動式キーボードとして示される。カーソルは、可動式ではなく、表示部の中央に配置されるのが好ましい。]
[0018] これは、テキストメッセージの入力又はメニュー選択が、比較的小さいケース寸法を持つ携帯端末の場合において実現されてもよいという利点を示し、それは、メカニカル・キーボード・フィールドを通したテキストメッセージの入力又はメニュー選択は、時間のかかる不正確な入力に至るためである。]
[0019] 携帯端末の表示部上における可動式カーソル又は可動式キーボードの実現のために、従来技術で知られている画像データの圧縮及び解凍の方法が採用される。]
[0020] 従来技術から知られている画像データの圧縮及び解凍の方法は、特許文献１において開示されており、例えばキーボードなどの画像の提示にために、ピクセル・グループを優先順位付けする方法が採用され、カメラでキャプチャーされた画像データは、個別のピクセルのマトリクスを提示し、それは、そのピクセルのカラー及び輝度情報を記載する、時間とともに変化するピクセル値を提示する。そのプロセスにおいて、各ピクセル及びピクセル値は、移送又は保存され、ピクセルは、それに隣り合うピクセルまでの距離が大きい場合、優先順位が高くなる。再構成の場合、現在のピクセル値だけが提示され、まだ移送されていないピクセルは、すでに移送されたピクセルから算出される。]
[0021] 携帯端末の表示部に仮想として提示されるキーボードの実現のために、カメラは、例えば「セル式携帯電話」のようなほとんどの携帯端末のように、必要な画像データのキャプチャーのために使用される。]
[0022] 選択されたキーボード・フィールドの確認のために、操作ボタンが備えられ、それは、例えば押すことによって選択が確認される。]
[0023] さらに、カーソルが表示部に表示される。そのカーソルは、携帯端末の表示部において、空間軸において類似した方向における携帯端末（セル式携帯電話）の動作によって可動式となる。]
[0024] 従来技術から知られている方法に対応するカメラの撮影された画像は、動作の検出のために画像データの圧縮及び解凍に関して評価される。]
[0025] 計算能力を保存するために、関連する画像領域だけが、評価に対して考慮される。動作に対応して、左、右、上、下、前及び後ろ、及び速度までもが検出されてよい。]
[0026] メカニカル多重機能ボタンの操作に比較して、ここではon／offよりもかなり繊細な解像度が可能である。]
[0027] ここで、キーボードが表示部に提示され、ある個人がカーソルを、携帯端末（セル式携帯電話）を動かすことよって望まれるキーボード・フィールドに配置する場合、その個人は、多重機能ボタンを単に押すことによって選択を確認できる。]
[0028] これは、上記の方法に比較して、片手操作がキーボード・フィールドの選択及び確認には十分であり、また、例えばタッチペンなどの追加のリソースは、タッチ・スクリーンの場合のように必要ではないという利点を示す。]
[0029] さらに、上記の方法に比較して、実際の選択に対して操作ボタンを除外することによって、さらなる操作要素は必要でないという利点が存在する。]
[0030] 従って、キーボードは、例えば「セル式携帯電話」などの携帯端末においては省くことができ、その装置のケーシングは、より小さく構成され、表示部はより大きく構成されることができる。]
[0031] 単に光学的なキャプチャーに加えて、さらに細かい制御が可能であり、また、磨耗及び裂傷もほとんど見られない。]
[0032] 以下において、本発明は、1つの実施形態のみを示す図表の援助でさらに詳しく説明される。この実施形態において、さらなる本発明の特徴及び利点が、図表及びその説明から明らかになる。]
図面の簡単な説明

[0033] 本発明の方法を示す概略的なフローチャートである。]
[0034] 携帯端末1における仮想キーボードの提示に関して図１において示される方法は、３つの空間軸の１つの方向における携帯端末の位置変化の認識に向けられており、その結果、仮想キーボードを通して示されるカーソルの仮想動作が生成される。] 図１
[0035] 当該方法の第１ステップにおいて、携帯端末1は、画像データ3を第１カメラ位置2にあるそれの統合カメラによってキャプチャーする。]
[0036] これらのカメラ位置2の画像データ3は、従来技術に従って、形成され、優先順位が付けられたピクセル・グループ4に対応する方法の第２ステップにおいて保存される。この手段において、従来技術から知られている方法に従って、最も高い優先順位が付けられたピクセル・グループが、自動的に画像の関連する領域を描写する。]
[0037] 当該方法の第３ステップにおいて、第1カメラ位置2の優先順位が付けられたピクセル・グループ4の位置の値9が、携帯端末1に保存される。]
[0038] ある個人がカメラ2を空間軸の3つの方向の1つにおいて第２カメラ位置5へ動かす場合、形成され、優先順位が付けられたピクセル・グループ4の位置の値9は、対応する方法に従って変化する。]
[0039] 当該方法の第４ステップにおいて、画像データ7は、第２カメラ位置5においてキャプチャーされ、当該方法の第５ステップにおいて、その優先順位が付けられたピクセル・グループ8は、カメラ位置5において、関連する位置の値で形成される。]
[0040] 当該方法の第６ステップにおいて、形成され優先順位が付けられたカメラ位置5のピクセル・グループ8の位置の値10は、カメラ位置2の、形成され優先順位が付けられたピクセル・グループ4の位置の値9に比較される。]
[0041] 当該方法のこれらの上記で述べたステップは、単純な例を使用して説明される。]
[0042] 最も高い優先順位が付けられた、カメラ位置2のケース内のピクセル・グループA1、B1及びC1は、マトリクスの位置a1、b1及びc1の位置で決定される。該プロセスにおいて、A1、B1及びC1は、そのA1、B1及びC1のピクセル値がさらに幅広く変化するように優先順位が付けられる。]
[0043] カメラ位置5のケースにおいて第２の画像がキャプチャーされた場合、最も高い優先順位が付けられたピクセル・グループA2、B2及びC2は、マトリクスの位置a1、b1及びc1で決定される。]
[0044] カメラ位置2の位置a1、b1及びc1のカメラ位置5の位置a2、b2及びc2への変位は、直接携帯端末1の動作に関連している。]
[0045] a1をa2、b1をb2及びc1をc2に比較することにより、それぞれの変位ベクトル11が決定される。決定された3つの全ての変位ベクトル11は、同じ方向を向き、携帯端末1は、それに対応する方向へ動かされる。]
[0046] 決定された変位ベクトル11に対応して、携帯端末1の表示部のカーソルは12へ動かされる。]
[0047] キーボードがさらに表示部に表示される場合、ボタンを押すことによって、関連する文字を持ち、現在カーソルが置かれているキーボード・フィールドは、選択が確認される。文字が選択されると、キーボードが再び中立位置に現れる。]
[0048] この上記の例は、本発明の方法の基本的なアプローチを説明する。]
[0049] 当然のことながら、ここで説明される方法は、出願の必要条件に対応して、例えばメニュー制御の一般機能などの他の端末機能の制御にも使用されてもよい。さらに、また、基本的な方法が、複数の機能によって拡張されてもよい。３つのピクセル・グループの場所において、より多くのピクセル・グループが使用されてもよい。]
[0050] ３つの最も良いピクセル・グループ4がカメラ位置2の第１画像において検出されると、例えばカメラ位置5における、それに続いてキャプチャーされる画像は、もはや完全ではなく、むしろ見つけられたピクセル・グループ８の近辺においてのみ評価される。この方法において、時間のかかる計算及びバッテリーの実行時間が節約される。]
[0051] 暗い場合、追加のカメラ・ライトが、携帯端末1の動作を検出するために採用される。]
[0052] 携帯端末1を物体へ又は物体から離れる方向へ動かすことによって、例えば特殊文字（＠又はμなど）の選択などさらなるメニュー機能が、開かれるか、又はクローズされてもよい。]
[0053] 線形及び非線形の両方の動作が、カーソルの大きな表示領域にわたる素早い動作に対して実行されてもよい。]
[0054] 従って、例えば、携帯端末のある表面への平行変位は、表示部のカーソルの線形変位に至る。]
[0055] カーソルの非線形変位は、例えば携帯端末1のさらなる回転動作によって生成される。]
[0056] 制御の単純化のために、例えば、ソフトウェア走査がそれぞれのキーボード・フィールドの文字／メニュー事項を安全に選択するために使用される。]
[0057] さらなるアプリケーションのために、カーソルがまた、表示部に固定されて配置されてもよく、例えば仮想キーボードのシフトのキーボード・フィールドなどの選択フィールドは、携帯端末１の動作に対応して変位する。]
[0058] 本発明の要旨は、個別の特許請求項の要旨からは生成されなく、むしろ個別の特許請求項と他の請求項との組み合わせから生成される。]
実施例

[0059] 本出願において開示されている要約を含む全ての情報及び特徴、特に図表において提示されている方法の構成におけるものは、本発明の要点として個別に又は組み合わせのいずれか一方で、従来技術に比較して新規性を有する範囲において請求されている。]
[0060] 1…携帯端末（例えばセル式携帯電話）
2…第１カメラ位置
3…第１カメラ位置の画像データ
4…第１カメラ位置の優先順位が付けられた画像
5…第２カメラ位置
6…カメラの位置変化
7…第２カメラ位置の画像データ
8…付属する位置の値を持つ第２カメラ位置の優先順位が付けられたピクセル・グループの画像
9…第１カメラ位置の優先順位が付けられたピクセル・グループの位置の値のストレージ
10…第１カメラ位置の保存された位置の値の第２カメラ位置の値への比較
11…変位ベクトルの形成
12…携帯端末の表示部におけるカーソル又は仮想キーボードの動作
13…選択されたキーボード・フィールドの操作ボタンによる確認]

权利要求:

請求項1
セル式携帯電話などの携帯端末の表示部に仮想キーボードを示すための方法であり、該携帯端末は、画像データをキャプチャーするためのカメラ、該画像データを示すための表示部及びメニュー機能の選択、あるいはテキストメッセージなどの入力のためのキーボードを提示し、該キーボードは、前記携帯端末の表示部の前記仮想キーボードとして設計され、該仮想キーボード上に示されるカーソルは、可動式であるように設計され、該カーソルは、空間軸における前記携帯端末の動作に従って、該仮想キーボードの対応するキーボード・フィールドへ動く、ことを特徴とする方法。
請求項2
前記携帯端末の表示部に示された前記仮想キーボードが、該表示部上における前記携帯端末の動作に従って動く可動式キーボードとして示され、前記カーソルは、可動式であり、好ましくは前記表示部の中央に配置される、ことを特徴とする、請求項１に記載の方法。
請求項3
前記方法は、統合カメラの第１カメラ位置の画像データをキャプチャーし、該画像データは、形成されることになっている優先順位が付けられるピクセル・グループにおいて保存され、最も高い優先順位が付けられるピクセル・グループは、自動的に画像の関連領域を描写する、ことを特徴とする、請求項１又は２に記載の方法。
請求項4
形成された前記ピクセル・グループに加えて、前記第１カメラ位置のピクセル・グループに対応する位置の値が保存されることを特徴とする、請求項１乃至３に記載の方法。
請求項5
前記方法が、前記第１カメラ位置から第２カメラ位置への前記カメラが動作した場合、第２カメラ位置で画像データをキャプチャーし、関連する位置の値で優先順位が付けられたピクセル・グループを形成する、ことを特徴とする、請求項１乃至４のうちいずれか１項に記載の方法。
請求項6
前記方法が、前記第１カメラ位置の優先順位が付けられたピクセル・グループの位置の値を、前記第２カメラ位置の優先順位が付けられたピクセル・グループの位置の値に比較し、該カメラ位置の変化は、それに対応して、前記優先順位が付けられたピクセル・グループの位置の値の変化を形成する、ことを特徴とする、請求項１乃至５のうちいずれか１項に記載の方法。
請求項7
前記方法が、前記第１及び第２カメラ位置の値の比較より変位ベクトルを決定し、該変位ベクトルは、前記携帯端末の表示部の前記カーソルを、該変位ベクトルが１つの方向へ向けられるときに動かす、ことを特徴とする、請求項１乃至６に記載の方法。
請求項8
前記方法が、前記携帯端末の前記表示部に示された前記キーボード上のカーソルの動作が、キーボード・フィールドの選択を構成し、該キーボード・フィールドの選択は、配置されている操作ボタンによって確認されることを特徴とする、請求項１乃至７に記載の方法。
請求項9
キーボード・フィールドの選択及び確認の後に、提示される前記仮想キーボードは中立位置へ動くことを特徴とする、請求項１乃至８に記載の方法。
請求項10
前記方法が、メニュー制御を構成し、該メニュー項目の選択は、前記携帯端末の位置変化によって実行されることを特徴とする、請求項１乃至９に記載の方法。